Learning weakly supervised multimodal phoneme embeddings

Recent works have explored deep architectures for learning multimodal speech representation (e.g. audio and images, articulation and audio) in a supervised way. Here we investigate the role of combining different speech modalities, i.e. audio and visual information representing the lips movements, in a weakly supervised way using Siamese networks and lexical same-different side information. In particular, we ask whether one modality can benefit from the other to provide a richer representation for phone recognition in a weakly supervised setting. We introduce mono-task and multi-task methods for merging speech and visual modalities for phone recognition. The mono-task learning consists in applying a Siamese network on the concatenation of the two modalities, while the multi-task learning receives several different combinations of modalities at train time. We show that multi-task learning enhances discriminability for visual and multimodal inputs while minimally impacting auditory inputs. Furthermore, we present a qualitative analysis of the obtained phone embeddings, and show that cross-modal visual input can improve the discriminability of phonological features which are visually discernable (rounding, open/close, labial place of articulation), resulting in representations that are closer to abstract linguistic features than those based on audio only

Les universaux linguistiques émergeants dans les réseaux de neurones communicants

The ability to acquire and produce a language is a key component of intelligence. If communication is widespread among animals, human language is unique in its productivity and complexity. By better understanding the source of natural language, one can use this knowledge to build better interactive AI models that can acquire human languages as rapidly and efficiently as children. In this manuscript, we build up on the emergent communication field to investigate the well-standing question of the source of natural language. In particular, we use communicating neural networks that can develop a language to solve a collaborative task. Comparing the emergent language properties with human cross-linguistic regularities can provide answers to the crucial questions of the origin and evolution of natural language. Indeed, if neural networks develop a crosslinguistic regularity spontaneously, then the latter would not depend on specific biological constraints. From the cognitive perspective, looking at neural networks as another expressive species can shed light on the source of cross-linguistic regularities -- a fundamental research interest in cognitive science and linguistics. From the machine learning perspective, endowing artificial models with human constraints necessary to evolve communicative protocols as productive and robust as natural language would encourage the development of better interactive AI models. In this manuscript, we focus on studying four cross-linguistic regularities related to word length, word order, semantic categorization, and compositionality. Across the different studies, we find that some of these regularities arise spontaneously while others are missing in neural networks' languages. We connect the former case to the presence of shared communicative constraints such as the discrete nature of the communication channel. On the latter, we relate the absence of human-like regularities to the lack of constraints either on the learners' side (e.g., the least-effort constraints) or language functionality (e.g., transmission of information). In sum, this manuscript provides several case studies demonstrating how we can use successful neural network models to tackle crucial questions about the origin and evolution of our language. It also stresses the importance of mimicking the way humans learn their language in artificial agents' training to induce better learning procedures for neural networks, so that they can evolve an efficient and open-ended communication protocol.La capacité d'acquérir et de produire un langage est un élément clé de l'intelligence humaine. En effet, même si de nombreuses espèces partagent un système de communication, le langage humain reste unique par sa productivité, sa récursivité ainsi que le nombre de symboles utilisés. En comprenant mieux les origines de l'apparition du langage, il sera possible de créer des modèles plus performants capable d'interagir et d’acquérir notre langage aussi rapidement et efficacement que nous le faisons en tant que bébé. Dans ce manuscrit, nous utilisons des réseaux de neurones communicants qui peuvent développer et faire évoluer un langage pour nous éclairer sur la question de l'origine du langage naturel. Nous comparons ensuite les propriétés de leur langage émergeant avec les propriétés universelles du langage naturel. Si les réseaux de neurones produisent spontanément une propriété linguistique, celle-ci ne dépendrait pas alors des contraintes biologiques. Autrement, dans le cas où le langage artificiel dévie du langage humain pour une régularité donnée, cette dernière ne peut être considérée comme une conséquence des simples contraintes de communication. D'un point de vue cognitif, considérer les réseaux de neurones comme une autre espèce expressive peut nous éclairer sur la source des propriétés universelles. Du point de vue de l'apprentissage automatique, doter les modèles artificiels de contraintes humaines nécessaires pour faire évoluer des protocoles de communication aussi productifs et robustes que le langage naturel encouragerait le développement de meilleurs modèles d'IA interactifs. Ce manuscrit traite de l'étude de quatre régularités linguistiques qui ont à voir avec la longueur des mots, l'ordre des mots, la catégorisation sémantique et la compositionnalité. Certains chapitres exemplifient des cas où les régularités apparaissent spontanément dans le langage émergeant, tandis que d'autres montrent des cas où les réseaux de neurones développent un langage qui dévie du langage naturel. Nous avons relié le premier cas à la présence de contraintes de communication telles que la nature discrète du canal de communication. Quant à l'absence de régularités naturelles, nous l'avons lié au manque de contraintes soit au niveau de l'apprenant (par exemple, la contrainte biologique de brièveté) soit au niveau de l'environnement (par exemple, la richesse d’environnement). Ainsi, cet ensemble de travaux fournit plusieurs études de cas démontrant l'intérêt d'utiliser des modèles de réseaux de neurones performants dans des tâches de traitement de texte pour aborder des questions cruciales sur l'origine et l'évolution de notre langage. Il souligne également l'importance d'entraîner les réseaux de neurones sous contraintes naturelles pour voir l'émergence d'un protocole de communication aussi efficace et productif que le langage naturel

"LazImpa": Lazy and Impatient neural agents learn to communicate efficiently

Previous work has shown that artificial neural agents naturally develop surprisingly non-efficient codes. This is illustrated by the fact that in a referential game involving a speaker and a listener neural networks optimizing accurate transmission over a discrete channel, the emergent messages fail to achieve an optimal length. Furthermore, frequent messages tend to be longer than infrequent ones, a pattern contrary to the Zipf Law of Abbreviation (ZLA) observed in all natural languages. Here, we show that near-optimal and ZLA-compatible messages can emerge, but only if both the speaker and the listener are modified. We hence introduce a new communication system, "LazImpa", where the speaker is made increasingly lazy, i.e. avoids long messages, and the listener impatient, i.e.,~seeks to guess the intended content as soon as possible.Comment: Accepted to CoNLL 202

"LazImpa": Lazy and Impatient neural agents learn to communicate efficiently

Accepted to CoNLL 2020International audiencePrevious work has shown that artificial neural agents naturally develop surprisingly non-efficient codes. This is illustrated by the fact that in a referential game involving a speaker and a listener neural networks optimizing accurate transmission over a discrete channel, the emergent messages fail to achieve an optimal length. Furthermore, frequent messages tend to be longer than infrequent ones, a pattern contrary to the Zipf Law of Abbreviation (ZLA) observed in all natural languages. Here, we show that near-optimal and ZLA-compatible messages can emerge, but only if both the speaker and the listener are modified. We hence introduce a new communication system, "LazImpa", where the speaker is made increasingly lazy, i.e. avoids long messages, and the listener impatient, i.e.,~seeks to guess the intended content as soon as possible

ОСОБЛИВОСТІ НАВЧАЛЬНОГО ПРОЦЕСУ ПРИ ВИКЛАДАННІ ДИСЦИПЛІНИ “КЛІНІЧНА ПАТОФІЗІОЛОГІЯ” В УНІВЕРСИТЕТАХ СПОЛУЧЕНИХ ШТАТІВ АМЕРИКИ

Стаття присвячена особливостям навчального процесу при викладанні клінічної патофізіології в університетах Аме-рики. Зокрема автори стверджують, що незалежно від рівня і престижу університету США дисципліна “Клінічна пато-фізіологія” є важливою складовою у структурі навчання майбутнього медика-професіонала та направлена на розумінняпатогенетичних механізмів хвороби конкретного пацієнта для вдосконалення практичної медичної допомоги

Learning Materials for Korean as a Foreign Language : A Comparative Review of Four Beginner Level Textbooks

Tutkimuksessa tarkastellaan ja vertaillaan neljää alkeistason korean kielen oppikirjaa. Tavoitteena on selvittää, kuinka paljon ja minkälaisia harjoituksia ne tarjoavat kielitaidon eri osa-alueiden opetteluun, ja kuinka ne ottavat huomioon oppijoiden yksilölliset erot. Lisäksi pyritään löytämään joitakin erityispiirteitä, joita suomenkielisessä korean oppikirjassa tarvitaan. Valitut oppikirjat ovat suomalaisissa yliopistoissa käytetyt Ganada Korean 1, Sogang Korean 1A, Seouldae hangukeo 1A ja Fun! Fun! Korean 1. Arviointikriteerit muodostetaan kielen oppimisen teorioiden pohjalta. Kielitaidon todetaan olevan yhdistelmä kielioppia, sanastoa, kuullun ymmärtämistä, luetun ymmärtämistä, puhumista ja kirjoittamista, sekä keskustelutaitoja ja kulttuurin tuntemusta. Kieliopin, sanaston ja harjoitusten määrä lasketaan, ja sisältöä tarkastellaan tulosten valossa oppijoiden yksilölliset erot huomioon ottaen. Lopuksi oppikirjojen tuloksia vertaillaan keskenään. Tutkimuksessa selviää, että kaikki kirjat esittävät uuden tiedon teemoittain ja sisältävät sekä kaavamaisia että luovia tehtäviä. Kaavamaiset harjoitukset ovat enemmistössä erityisesti Ganadassa, mutta kommunikatiivisia tehtäviä on vain vähän kaikissa kirjoissa. Eniten kielioppia ja sanastoa on Ganadassa ja Fun Koreanissa. Kuullun ymmärtämistehtäviä on sekä määrällisesti että suhteellisesti eniten Ganadassa. Sama pätee luetun ymmärtämistehtäviin. Kaikki kirjat tarjoavat ääntämisharjoituksia. Puhetehtäviä korostavat eniten Fun Korean ja Sogang. Luovia kirjoitusharjoituksia on hyvin vähän kaikissa kirjoissa. Kaikki paitsi Sogang sisältävät erillisiä tietoiskuja kulttuurista. Sogang on myös ainoa, joka ei sisällä englanninkielisiä käännöksiä. Eniten opetusaikaa on suunniteltu Fun Koreanin käyttäjille. Kirjat eivät tarjoa paljoa palautetta tai mahdollisuuksia itseopiskeluun. Eri oppimistyylejä ajatellen Sogang on vähiten joustava. Kirjojen sisältö ylipäätään on aikuisopiskelijoita motivoivaa ja kiinnostavaa, vaikkakin ajoittain vaikeaa toteuttaa. Tuloksista voidaan päätellä, että Ganada sopii parhaiten käytettäväksi Koreassa, sillä se harjoittaa enemmän reseptiivisiä taitoja. Suomen kontekstissa se toimii tutkituista oppikirjoista parhaiten itseopiskelussa. Fun Korean sopii suhteellisen hyvin suomalaisopiskelijoille sen sisällön määrän ja laadun, sekä siihen käytettävän ajan puolesta. Myös Sogangin puhetaitojen painotus vastaa suomalaisopiskelijoiden tarpeita, mutta se vaatii koreaa äidinkielenään puhuvan, tai vastaavat tiedot ja resurssit omaavan opettajan, sillä se ei sisällä englanninkielisiä käännöksiä eikä selityksiä kielioppisäännöille. Seouldae sopii parhaiten analyyttisille opiskelijoille, jotka kaipaavat syvempää tietoa korean kielen rakenteista. Kaikkien kirjojen keskeisimmät haittapuolet ovat niiden hinta ja englanti välikielenä. Molemmat ovat ratkaistavissa suomenkielisellä korean oppikirjalla. Sen tulisi sisältää kielioppisäännöt suomeksi, tarjota sanastolle suomenkieliset käännökset, painottaa kommunikatiivisia taitoja ja pyrkiä tekemään oppimisesta hauskaa

Les universaux linguistiques émergeants dans les réseaux de neurones communicants

La capacité d'acquérir et de produire un langage est un élément clé de l'intelligence humaine. En effet, même si de nombreuses espèces partagent un système de communication, le langage humain reste unique par sa productivité, sa récursivité ainsi que le nombre de symboles utilisés. En comprenant mieux les origines de l'apparition du langage, il sera possible de créer des modèles plus performants capable d'interagir et d’acquérir notre langage aussi rapidement et efficacement que nous le faisons en tant que bébé. Dans ce manuscrit, nous utilisons des réseaux de neurones communicants qui peuvent développer et faire évoluer un langage pour nous éclairer sur la question de l'origine du langage naturel. Nous comparons ensuite les propriétés de leur langage émergeant avec les propriétés universelles du langage naturel. Si les réseaux de neurones produisent spontanément une propriété linguistique, celle-ci ne dépendrait pas alors des contraintes biologiques. Autrement, dans le cas où le langage artificiel dévie du langage humain pour une régularité donnée, cette dernière ne peut être considérée comme une conséquence des simples contraintes de communication. D'un point de vue cognitif, considérer les réseaux de neurones comme une autre espèce expressive peut nous éclairer sur la source des propriétés universelles. Du point de vue de l'apprentissage automatique, doter les modèles artificiels de contraintes humaines nécessaires pour faire évoluer des protocoles de communication aussi productifs et robustes que le langage naturel encouragerait le développement de meilleurs modèles d'IA interactifs. Ce manuscrit traite de l'étude de quatre régularités linguistiques qui ont à voir avec la longueur des mots, l'ordre des mots, la catégorisation sémantique et la compositionnalité. Certains chapitres exemplifient des cas où les régularités apparaissent spontanément dans le langage émergeant, tandis que d'autres montrent des cas où les réseaux de neurones développent un langage qui dévie du langage naturel. Nous avons relié le premier cas à la présence de contraintes de communication telles que la nature discrète du canal de communication. Quant à l'absence de régularités naturelles, nous l'avons lié au manque de contraintes soit au niveau de l'apprenant (par exemple, la contrainte biologique de brièveté) soit au niveau de l'environnement (par exemple, la richesse d’environnement). Ainsi, cet ensemble de travaux fournit plusieurs études de cas démontrant l'intérêt d'utiliser des modèles de réseaux de neurones performants dans des tâches de traitement de texte pour aborder des questions cruciales sur l'origine et l'évolution de notre langage. Il souligne également l'importance d'entraîner les réseaux de neurones sous contraintes naturelles pour voir l'émergence d'un protocole de communication aussi efficace et productif que le langage naturel.The ability to acquire and produce a language is a key component of intelligence. If communication is widespread among animals, human language is unique in its productivity and complexity. By better understanding the source of natural language, one can use this knowledge to build better interactive AI models that can acquire human languages as rapidly and efficiently as children. In this manuscript, we build up on the emergent communication field to investigate the well-standing question of the source of natural language. In particular, we use communicating neural networks that can develop a language to solve a collaborative task. Comparing the emergent language properties with human cross-linguistic regularities can provide answers to the crucial questions of the origin and evolution of natural language. Indeed, if neural networks develop a crosslinguistic regularity spontaneously, then the latter would not depend on specific biological constraints. From the cognitive perspective, looking at neural networks as another expressive species can shed light on the source of cross-linguistic regularities -- a fundamental research interest in cognitive science and linguistics. From the machine learning perspective, endowing artificial models with human constraints necessary to evolve communicative protocols as productive and robust as natural language would encourage the development of better interactive AI models. In this manuscript, we focus on studying four cross-linguistic regularities related to word length, word order, semantic categorization, and compositionality. Across the different studies, we find that some of these regularities arise spontaneously while others are missing in neural networks' languages. We connect the former case to the presence of shared communicative constraints such as the discrete nature of the communication channel. On the latter, we relate the absence of human-like regularities to the lack of constraints either on the learners' side (e.g., the least-effort constraints) or language functionality (e.g., transmission of information). In sum, this manuscript provides several case studies demonstrating how we can use successful neural network models to tackle crucial questions about the origin and evolution of our language. It also stresses the importance of mimicking the way humans learn their language in artificial agents' training to induce better learning procedures for neural networks, so that they can evolve an efficient and open-ended communication protocol